Het kasteel van Anvaing werd al in 1127 vermeld, maar over de vroegere heren die het bewoonden, is nagenoeg niets bekend.
Jacques de Boubais laat in de buurt van het oude landhuis het huidige kasteel bouwen. In een steen boven de centrale toegangsdeur is het jaar 1561 gebeiteld, van dat jaar dateert de huidige constructie. Het kasteel is streng symmetrisch en is opgetrokken in bak- en kalksteen en rust op een afgeschuinde onderbouw. Het grondplan is rechthoekig en vertoont vier hoektorens. Begin 19de eeuw onderging het wel grondige wijzingen, maar gelukkig werd het mooie bak- en kalkstenen geheel niet echt geschonden. Het vormt nog steeds een rechthoekig blok met vierhoektorens. Het interieur is Frans, en telt verschillende salons. De trap is in empirestijl uitgewerkt. De 18de eeuwse tuinen zijn ook Frans van stijl en werden op last van de markies Jean de Mesgrigny aangelegd.
Het kasteel van Anvaing was op 28 mei 1940 het toneel van een belangrijke historische gebeurtenis. Binnen de oude muren van de eetzaal werd het protocol ondertekend waarbij het tot capitulatie gedwongen Belgische leger zich overgeeft.